Solving partial differential equations is difficult. Recently proposed neural resolution-invariant models, despite their effectiveness and efficiency, usually require equispaced spatial points of data. However, sampling in spatial domain is sometimes inevitably non-equispaced in real-world systems, limiting their applicability. In this paper, we propose a Non-equispaced Fourier PDE Solver (\textsc{NFS}) with adaptive interpolation on resampled equispaced points and a variant of Fourier Neural Operators as its components. Experimental results on complex PDEs demonstrate its advantages in accuracy and efficiency. Compared with the spatially-equispaced benchmark methods, it achieves superior performance with $42.85\%$ improvements on MAE, and is able to handle non-equispaced data with a tiny loss of accuracy. Besides, to our best knowledge, \textsc{NFS} is the first ML-based method with mesh invariant inference ability to successfully model turbulent flows in non-equispaced scenarios, with a minor deviation of the error on unseen spatial points.

The prediction of protein structures from sequences is an important task for function prediction, drug design, and related biological processes understanding. Recent advances have proved the power of language models (LMs) in processing the protein sequence databases, which inherit the advantages of attention networks and capture useful information in learning representations for proteins. The past two years have witnessed remarkable success in tertiary protein structure prediction (PSP), including evolution-based and single-sequence-based PSP. It seems that instead of using energy-based models and sampling procedures, protein language model (pLM)-based pipelines have emerged as mainstream paradigms in PSP. Despite the fruitful progress, the PSP community needs a systematic and up-to-date survey to help bridge the gap between LMs in the natural language processing (NLP) and PSP domains and introduce their methodologies, advancements and practical applications. To this end, in this paper, we first introduce the similarities between protein and human languages that allow LMs extended to pLMs, and applied to protein databases. Then, we systematically review recent advances in LMs and pLMs from the perspectives of network architectures, pre-training strategies, applications, and commonly-used protein databases. Next, different types of methods for PSP are discussed, particularly how the pLM-based architectures function in the process of protein folding. Finally, we identify challenges faced by the PSP community and foresee promising research directions along with the advances of pLMs. This survey aims to be a hands-on guide for researchers to understand PSP methods, develop pLMs and tackle challenging problems in this field for practical purposes.

尺寸还原〜（DR）将高维数据映射到较低的尺寸潜在空间，并最小化定义的优化目标。 DR方法通常属于特征选择〜（FS）和特征投影〜（FP）。 FS专注于选择尺寸的关键子集，但有风险破坏数据分布（结构）。另一方面，FP将所有输入特征结合到较低的维度空间中，旨在维护数据结构。但是缺乏解释性和稀疏性。 FS和FP传统上是不兼容的类别；因此，它们尚未统一为友好的框架。我们建议理想的DR方法将FS和FP同时结合到统一的端到端多种学习框架中，同时执行基本特征发现，同时保持潜在空间中数据样本之间的内在关系。在这项工作中，我们开发了一个统一的框架，统一的尺寸还原神经网络〜（UDRN），该框架以兼容的端到端方式将FS和FP整合在一起。我们通过使用两个堆叠子网络分别实施FS和FP任务来改善神经网络结构。此外，我们设计了DR流程的数据增强，以提高方法处理广泛的功能数据集和设计的损失功能时，可以与数据增强合作。关于四个图像和四个生物数据集的广泛实验结果，包括非常高维数据，证明了DRN的优势比现有方法〜（FS，FP和FS \＆FP管道），尤其是在分类和可视化等下游任务中。

双重编码器结构成功地利用了两个特定语言的编码器（LSE）进行代码转换语音识别。由于LSE由两个预训练的语言特定模型（LSM）初始化，因此双编码器结构可以利用足够的单语言数据并捕获单个语言属性。但是，现有方法对LSE的语言没有限制，并且不足以针对LSM的语言知识。在本文中，我们提出了一种特定语言的特征辅助（LSCA）方法来减轻上述问题。具体来说，在培训期间，我们引入了两种特定语言的损失作为语言限制，并为其生成相应的语言目标。在解码过程中，我们通过组合两个LSM和混合模型的输出概率来考虑LSM的解码能力，以获得最终预测。实验表明，LSCA的训练或解码方法可以改善模型的性能。此外，通过组合LSCA的训练和解码方法，最佳结果可以在代码切换测试集上获得多达15.4％的相对误差。此外，该系统可以通过使用我们的方法来很好地处理代码转换语音识别任务，而无需额外的共享参数，甚至可以基于两个预训练的LSM进行重新训练。

时空预测学习旨在通过从历史框架中学习来产生未来的帧。在本文中，我们研究了现有方法，并提出了时空预测学习的一般框架，其中空间编码器和解码器捕获框架内特征和中间时间模块捕获框架间相关性。尽管主流方法采用经常性单元来捕获长期的时间依赖性，但由于无法可行的架构，它们的计算效率低。为了使时间模块并行，我们提出了时间注意单元（TAU），该单元将时间关注分解为框内静态注意力和框架间动力学注意力。此外，虽然平方误差损失侧重于框架内错误，但我们引入了一种新颖的差异差异正则化，以考虑框架间的变化。广泛的实验表明，所提出的方法使派生模型能够在各种时空预测基准上实现竞争性能。

本文提出了动态系统的不确定性定量（UQ），这是一种基于物理信息的生成对抗网络（GAN）。流动流基地采用标准化流程模型作为发电机，以明确估计数据的可能性。对该流模型进行了训练，以最大程度地提高数据的可能性并生成可以欺骗卷积歧视者的合成数据。我们使用先前的物理信息（所谓的物理学深度学习（PIDL））进一步正规化了这一训练过程。据我们所知，我们是第一个为UQ问题提供流动，GAN和PIDL的集成的人。我们采用交通状态估计（TSE），旨在使用部分观察到的数据来估计流量变量（例如，交通密度和速度），以证明我们提出的模型的性能。我们进行数值实验，其中应用了所提出的模型来学习随机微分方程的解决方案。结果证明了所提出的模型的鲁棒性和准确性，以及学习机器学习替代模型的能力。我们还在现实世界数据集（NGSIM）上对其进行了测试，以证明所提出的流量流可以胜过基线，包括纯流程模型，物理信息信息流量模型和基于流量的GAN模型。

时空预测是归因于时间动态的高非线性以及空间域中的复杂位置表征模式，尤其是天气预报等领域。图表卷积通常用于对气象中的空间依赖性进行建模，以处理传感器空间位置的不规则分布。在这项工作中，提出了一种用于模仿气象流动的基于图的基于图的卷积，以捕获局部空间模式。基于位置表征模式的平滑度的假设，我们提出了条件本地卷积，其共享内核在节点的局部空间上近似通过前馈网络近似，具有通过地平线所获得的坐标的本地表示作为其输入。既定的联合标准的本地坐标系保留了地理位置的方向。我们进一步提出了距离和方向缩放术语，以减少不规则空间分布的影响。卷积嵌入到经常性的神经网络架构中以模拟时间动态，导致条件本地卷积复制网络（CLCRN）。我们的模型是在真实世界的天气基准数据集上进行评估，实现了最先进的性能，具有明显的改进。我们对本地模式可视化，模型的框架选择，地平线地图等的优势进行进一步分析。

大多数现有的基于深度学习的方法用于血管分割的方法忽略了视网膜血管的两个重要方面，一个是船只的定向信息，另一个是整个基底区域的上下文信息。在本文中，我们提出了一个强大的方向和上下文纠缠的网络（称为OCE-NET），该网络具有提取血管的复杂方向和上下文信息的能力。为了实现复杂的方向，提出了动态复杂方向意识卷积（DCOA Conv），以提取具有多种取向的复杂血管，以改善血管连续性。为了同时捕获全球上下文信息并强调重要的本地信息，开发了一个全球和局部融合模块（GLFM），以同时对船舶的长距离依赖性进行建模，并将足够的关注放在局部薄船上。提出了一种新颖的方向和上下文纠缠的非本地（OCE-NL）模块，以将方向和上下文信息纠缠在一起。此外，提出了不平衡的注意模块（UARM）来处理背景，厚和薄容器的不平衡像素数量。在几个常用的数据集（驱动器，凝视和ChasceB1）和一些更具挑战性的数据集（AV Wide，UOA-DR，RFMID和UK BioBANK）上进行了广泛的实验。消融研究表明，所提出的方法在保持薄血管的连续性方面取得了有希望的性能，比较实验表明，我们的OCE-NET可以在视网膜血管分割上实现最新性能。

计算机辅助X射线肺炎病变识别对于准确诊断肺炎很重要。随着深度学习的出现，肺炎的识别准确性得到了极大的改善，但是由于胸部X射线的模糊外观，仍然存在一些挑战。在本文中，我们提出了一个深度学习框架，称为基于注意力的对比度学习，用于治疗X射线肺炎病变识别（表示为深肺炎）。我们采用自我监督的对比学习策略来预先培训模型，而无需使用额外的肺炎数据来完全挖掘有限的可用数据集。为了利用医生精心贴出的病变区域的位置信息，我们提出了面具引导的硬注意策略和特征学习，并具有对比度调节策略，这些策略分别应用于注意力图和提取功能，以指导模型以指导模型将更多注意力集中在病变区域，其中包含更多歧视性特征以改善识别性能。此外，我们采用班级平衡的损失，而不是传统的跨凝性作为分类的损失函数，以解决数据集中不同类别肺炎之间严重类失衡的问题。实验结果表明，我们提出的框架可以用作可靠的计算机辅助肺炎诊断系统，以帮助医生更好地诊断肺炎病例。

本文旨在使用基于生成对抗网络的物理信息深度学习（PIDL）来量化交通状态估计（TSE）的不确定性。焦点的不确定性来自基本图，换句话说，从交通密度到速度的映射。量化TSE问题的不确定性是表征预测的交通状态的鲁棒性。自成立以来，生成的对抗网络（GAN）已成为流行的概率机器学习框架。在本文中，我们将使用随机交通流量模型为基于GAN的预测提供信息，并为TSE开发基于GAN的PIDL框架，称为“ Physgan-Tse”。 ）数据集，与纯GAN模型或纯交通流模型相比，此方法对不确定性定量更为强大。两个物理模型，Lighthill-Whitham-Richards（LWR）和AW-Rascle-Zhang（ARZ）模型，将其作为物理学的物理成分进行比较，结果表明，基于ARZ的Physgan的性能比基于LWR的物理学更好。